Continual Learning, also known as Lifelong or Incremental Learning, has recently gained renewed interest among the Artificial Intelligence research community. Recent research efforts have quickly led to the design of novel algorithms able to reduce the impact of the catastrophic forgetting phenomenon in deep neural networks. Due to this surge of interest in the field, many competitions have been held in recent years, as they are an excellent opportunity to stimulate research in promising directions. This paper summarizes the ideas, design choices, rules, and results of the challenge held at the 3rd Continual Learning in Computer Vision (CLVision) Workshop at CVPR 2022. The focus of this competition is the complex continual object detection task, which is still underexplored in literature compared to classification tasks. The challenge is based on the challenge version of the novel EgoObjects dataset, a large-scale egocentric object dataset explicitly designed to benchmark continual learning algorithms for egocentric category-/instance-level object understanding, which covers more than 1k unique main objects and 250+ categories in around 100k video frames.

持续的学习方法努力减轻灾难性遗忘（CF），在学习新任务时，从以前学习的任务中丢失了知识。在这些算法中，有些在训练时维护以前任务中的样本子集。这些样本称为内存。这些方法表现出出色的性能，同时在概念上简单易于实现。然而，尽管它们很受欢迎，但几乎没有做任何事情来理解要包含在记忆中的元素。当前，这种记忆通常是通过随机抽样填充的，没有指导原则可以有助于保留以前的知识。在这项工作中，我们提出了一个基于称为一致性意识采样（CAWS）的样本的学习一致性的标准。该标准优先考虑通过深网更容易学习的样本。我们对三种不同的基于内存的方法进行研究：AGEM，GDUMB和经验重播，在MNIST，CIFAR-10和CIFAR-100数据集上。我们表明，使用最一致的元素在受到计算预算的约束时会产生性能提高；如果在没有这种约束的情况下，随机抽样是一个强大的基线。但是，在经验重播上使用CAWS可以改善随机基线的性能。最后，我们表明CAWS取得了与流行的内存选择方法相似的结果，同时需要大大减少计算资源。

时间序列数据的持续学习（CL）代表了现实世界应用的有希望但知之甚少的途径。我们为人类国家监测提出了两个新的CLENG基准。我们仔细设计了基准，以反映现实世界中的环境，其中不断添加新主题。我们进行了经验评估，以评估流行策略减轻基准中遗忘的能力。我们的结果表明，可能由于我们的基准的领域收入属性，即使使用简单的填充也可以轻松解决忘记，并且现有的策略在积累固定，固定的，测试的主题上积累知识而挣扎。

如今，预测机器学习模型通常以无状态和昂贵的方式进行更新。想要建立基于机器学习的应用程序和系统的公司的两个主要未来趋势是实时推理和持续更新。不幸的是，这两种趋势都需要一个成熟的基础设施，这很难实现本地人。本文定义了一种新颖的软件服务和模型交付基础架构，称为连续学习 - 服务（CLAAS）来解决这些问题。具体而言，它包含持续的机器学习和连续的集成技术。它为数据科学家提供了模型更新和验证工具的支持，而无需进行本地解决方案，并且以高效，陈述和易于使用的方式提供了支持。最后，此CL模型服务易于封装在任何机器学习基础架构或云系统中。本文介绍了在两种现实世界中评估的CLAAS实例化的设计和实现。前者是使用core50数据集的机器人对象识别设置，而后者是命名类别，并且使用时尚域中的deepfashion-c数据集属性预测。我们的初步结果表明，无论计算在Continuum Edge-Cloud中的何处，连续学习模型服务的可用性和效率以及解决方案在解决现实世界用例中的有效性。

从非稳定性数据流不断学习是过去几年中日益普及的具有挑战性的研究课题。能够在高效，有效和可扩展的方式中不断地学习，适应和推广，是人工智能系统可持续发展的基础。然而，以持续学习的代理为中心的视图需要直接学习原始数据，这限制了独立代理，效率和当前方法的隐私之间的相互作用。相反，我们认为，持续学习系统应该利用经过培训的模型的形式利用压缩信息的可用性。在本文中，我们介绍并将一个名为“EX-Modul持续学习”（EXML）的新范式介绍并形式化，其中代理从一系列先前培训的模型而不是原始数据学习。我们进一步贡献了三种前模型连续学习算法和包括三个数据集（Mnist，CiFar-10和Core50）的经验设置，以及所提出的算法广泛测试的八种情况。最后，我们突出了前模式范式的特点，我们指出了有趣的未来研究方向。

在不同的持续学习场景中可以经验经验评估模型的能力。每种情况都定义了限制和学习环境的机会。在这里，我们挑战了持续学习文学中的当前趋势，主要是在类渐进式场景上进行实验，其中一项经验中的课程从未被重新审视。我们对这种环境的过度注重可能是对持续学习的未来研究来限制，因为类增量场景人为地加剧了灾难性的遗忘，以牺牲其他重要目标等于前向传递和计算效率。在许多现实世界环境中，实际上，重复先前遇到的概念自然地发生，有助于软化对先前知识的破坏。我们倡导更深入地研究替代持续学习场景，其中重复通过传入信息流中的设计集成。从已经现有的提案开始，我们描述了这种级别的级别与重复方案的优势可以提供更全面的持续学习模型的评估。

对人工智能（AI）法规的增加导致了一系列伦理原则的定义，分为可持续的AI框架。在本文中，我们识别持续学习，是AI研究的一个活跃领域，作为符合可持续AI原则的系统设计的有希望的方法。虽然可持续的AI概述了伦理应用的一般追逐者，但持续的学习提供了将如此探索的手段进入实践。

Testing Deep Learning (DL) based systems inherently requires large and representative test sets to evaluate whether DL systems generalise beyond their training datasets. Diverse Test Input Generators (TIGs) have been proposed to produce artificial inputs that expose issues of the DL systems by triggering misbehaviours. Unfortunately, such generated inputs may be invalid, i.e., not recognisable as part of the input domain, thus providing an unreliable quality assessment. Automated validators can ease the burden of manually checking the validity of inputs for human testers, although input validity is a concept difficult to formalise and, thus, automate. In this paper, we investigate to what extent TIGs can generate valid inputs, according to both automated and human validators. We conduct a large empirical study, involving 2 different automated validators, 220 human assessors, 5 different TIGs and 3 classification tasks. Our results show that 84% artificially generated inputs are valid, according to automated validators, but their expected label is not always preserved. Automated validators reach a good consensus with humans (78% accuracy), but still have limitations when dealing with feature-rich datasets.

This work studies networked agents cooperating to track a dynamical state of nature under partial information. The proposed algorithm is a distributed Bayesian filtering algorithm for finite-state hidden Markov models (HMMs). It can be used for sequential state estimation tasks, as well as for modeling opinion formation over social networks under dynamic environments. We show that the disagreement with the optimal centralized solution is asymptotically bounded for the class of geometrically ergodic state transition models, which includes rapidly changing models. We also derive recursions for calculating the probability of error and establish convergence under Gaussian observation models. Simulations are provided to illustrate the theory and to compare against alternative approaches.

我们介绍了de bruijn图神经网络（DBGNNS），这是一种新颖的时间感知图神经网络体系结构，用于动态图上的时间分辨数据。我们的方法解释了动态图的因果拓扑中展开的时间流行模式，该模式由因果步行确定，即节点可以随着时间的时间影响彼此的链接序列。我们的架构建立在多层de bruijn图的多层上，这是一个迭代的线图结构，其中d de bruijn图中的节点k表示长度k-1的步行，而边缘则表示长度k的步行。我们开发了一个图形神经网络体系结构，该架构利用de bruijn图来实现遵循非马克维亚动力学的消息传递方案，该方案使我们能够在动态图的因果拓扑中学习模式。解决de bruijn图形不同订单k的问题可用于建模相同的数据集，我们进一步应用统计模型选择以确定用于消息传递的最佳图形拓扑。合成和经验数据集的评估表明，DBGNN可以利用动态图中的时间模式，从而大大改善了监督节点分类任务中的性能。